PosturAll : a posture assessment software for children

Tese de Mestrado Integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica), 2022, Universidade de Lisboa, Faculdade de CiênciasOs problemas e distúrbios músculo-esqueléticos como a dor lombar, a dor cervical e a escoliose, são um frequente fator de perturbação da qualidade de vida e da atividade laboral com elevados custos diretos e indiretos. Em 2019, 37.3 % da população portuguesa reportou sofrerem de dores lombares ou outros problemas crónicos associados à dor nas costas, e 27.1% da população portuguesa afirmou ter dor na cervical ou outros problemas crónicos associados à dor no pescoço. Contudo, com uma deteção precoce durante a infância e adolescência, pode ser possível reduzir a sua incidência e impacto. Desde cedo, as crianças e adolescentes são expostas a estímulos e fatores de risco que podem levar ao desenvolvimento destes distúrbios músculo-esqueléticos. Alguns destes fatores de risco incluem ser se do género feminino, o aumento da idade, o sedentarismo ou a prática intensiva de exercício físico, o peso e modelo de mochila utilizada na escola, e os comportamentos posturais, como a postura adotada enquanto se está sentado na sala de aula ou sentado a ver televisão ou a jogar videojogos, ou a postura de flexão da cervical quando se utiliza o telemóvel. Para minimizar estes fatores de risco é importante a sensibilização da população para os problemas músculo-esqueléticos, por exemplo através de campanhas que promovam comportamentos saudáveis que as pessoas devem adotar desde jovens, bem como, implementar avaliações médicas regulares nas escolas para a deteção precoce dos distúrbios músculo-esqueléticos. Atualmente, existem diversos métodos de avaliação postural e de programas multidisciplinares de tratamento da dor, no entanto a maioria está acessível apenas a profissionais de saúde em meio clínico com custos elevados. Recentemente, têm começado a aparecer no mercado aplicações para telemóvel que incluem tratamento multidisciplinar da dor e que analisam de forma simplificada a postura da pessoa por um preço acessível. O objetivo desta dissertação é melhorar um software anteriormente desenvolvido por estudantes do mestrado integrado em engenharia biomédica e biofísica, e posteriormente testar a sua performance e validar os resultados obtidos com esse software usando uma população não-patológica. Com os dados adquiridos iremos num último passo analisar a performance de classificadores. Este software processa imagens de 4 vistas diferentes do paciente (vista anterior, posterior, lateral esquerda e direita), enquanto este utiliza diversos marcadores em locais anatómicos específicos. Com os marcadores, o software calcula diversos ângulos e comprimentos de segmentos corporais, que usa para obter um valor de indicador de risco para possíveis problemas e distúrbios da zona da lombar, cervical e escoliose. A realização deste projeto foi dividida em quatro fases. Primeiro, começámos por selecionar os marcadores e as métricas corporais a usar na avaliação postural, em conjunto com especialistas de fisioterapia e com base em literatura científica, do qual resultaram 29 marcadores e 38 parâmetros. Após esta seleção, modificámos o software para incluir o cálculo destes parâmetros. De seguida, acrescentámos a utilização de um retângulo de comprimento conhecido para se aferir a escala da imagem e um fio com um peso na ponta para se obter a linha vertical ao chão. Também modificámos a forma de deteção dos marcadores pelo software, tornando possível a deteção em imagens provenientes de diferentes tipos de câmaras, através do método blob detection. Na segunda fase, aferimos a performance do software e efetuámos testes de calibração. Nestes passos os marcadores foram colocados num manequim. Começámos por analisar o uso de marcadores de diferentes cores e tamanhos para percebermos quais os mais adequados. Os diferentes marcadores foram colocados em 4 sujeitos de alturas e volumes diferentes e com roupas de cores diferentes. Desta análise ficou definido a utilização de marcadores verdes de 20 mm de diâmetro, bem como a cor azul para o retângulo que permite obter a escala da imagem, e a cor vermelha para o fio usado para determinar a linha vertical ao chão. Após este passo, avaliámos a capacidade de o software detetar os marcadores verdes, o retângulo azul e o fio vermelho utilizando diferentes cores de fundo e com dois tipos de câmaras diferentes. Dos fundos usados foi possível detetar os marcadores e o retângulo em todos, no entanto, o fio vermelho não foi possível detetar quando o fundo utilizado era vermelho. Nos testes de calibração, verificámos a influência da utilização ou não de flash, da variação da distância da câmara aos marcadores, da variação da altura da câmara e da variação do tipo de câmara utilizada. Concluímos que a utilização ou não de flash é a variável que menos influenciou os resultados, que no geral houve maior variação dos valores obtidos quando utilizada uma câmara fotográfica face a uma câmara de telemóvel, e que os parâmetros anatómicos que utilizam o fio vermelho no seu cálculo tiveram maiores variações do que os parâmetros que usam o retângulo azul. O fio vermelho foi colocado num plano diferente dos marcadores levando a erros de paralaxe mais acentuados. No entanto, mesmo colocando o retângulo ao lado dos marcadores os erros de paralaxe não foram totalmente corrigidos, pois o volume do manequim faz com que os marcadores não fiquem todos no mesmo plano. Numa terceira fase, adquirimos dados de uma população de estudo composta por estudantes da Escola Superior de Saúde da Cruz Vermelha Portuguesa - Lisboa. Para comparação e validação dos resultados obtidos, as imagens capturadas de cada participante foram analisadas com o nosso software e com um software clínico comercial de análise postural, o software TemploÒ no sistema da Contemplas, GMHB. Os dados de ambos os softwares foram comparados através de testes de hipóteses de comparação de médias e testes de equivalência de médias. Para a maioria dos parâmetros anatómicos, observámos nos testes estatísticos de comparação que as diferenças entre médias não eram significativas, e nos testes de equivalência obtivemos um valor das diferenças das médias entre -0.05 e 0.05, ambos para uma confiança de 95%. Seguidamente, com base na avaliação postural feita pelo software clínico e por especialistas de fisioterapia, considerámos uma população composta por 16 sujeitos sem evidências de problemas posturais, 25 sujeitos que apresentavam evidências ligeiras e 16 sujeitos com evidências moderadas a acentuadas. Com os dados desta população avaliámos o desempenho de classificadores, em que implementámos os modelos Linear Discriminant Analysis e k-Nearest Neighbors, cada um com o método de validação divisão treino/teste e com o método de validação cruzada 10-fold. Inicialmente considerámos uma classificação multiclasse, e posteriormente uma classificação binária de dois níveis. O primeiro nível classifica os sujeitos entre sem evidências e com evidências de problemas posturais, e o segundo nível divide este segundo grupo em sujeitos com evidências ligeiras e sujeitos com evidências moderadas a acentuadas. No geral, a classificação binária apresentou melhores valores que a classificação multiclasse. Em ambos os níveis da classificação binária, os valores de f1- score foram mais altos para as classes compostas por um maior número de sujeitos, o que pode ser justificado por serem classes com mais dados para treinar o classificador. Adicionalmente, verificámos que obtivemos valores mais altos com o uso do método de validação divisão treino/teste do que com o método de validação cruzada 10-fold. Isto pode ser explicado pela base de dados ser composta por poucos participantes, em que cada fold tem no máximo dados de 6 participantes, podendo levar a uma má distribuição dos dados. Em projetos futuros, é necessário melhorar a forma de corrigir os erros de paralaxe inerentes à captura de imagens, possivelmente com a identificação do ponto de fuga da imagem, e, sabendo o campo de visão ou o tamanho do sensor, tornar menor a influência da utilização de diferentes tipos de câmara nos resultados. Além disso, no futuro, pode testar-se a utilização de um setup mais simplificado, juntando a função do retângulo azul e do fio vermelho num só objeto, por exemplo, um esquadro com um peso na ponta. Outro passo a realizar é tornar este software, que ainda está num modo offline, numa aplicação para telemóvel, que apenas armazene e processe os resultados da análise do paciente num servidor seguro, e que elimine automaticamente as suas imagens. Nesta dissertação, os participantes da população de estudo eram maiores de 18 anos, no entanto, é necessário testar o software numa população constituída por crianças e adolescentes para se começar a criar uma base de dados com valores de referência adaptados a essas idades, que são o público-alvo da aplicação. Em conjunto com este software, no futuro pretende-se desenvolver um kit de avaliação postural que é composto por uma mochila que contenha no seu interior um arnês ajustável de corpo inteiro com os marcadores costurados, o objeto necessário para a obtenção da escala da imagem e da linha vertical ao chão, e marcas para serem colocadas no chão para marcar a posição em que o sujeito e a câmara devem estar. O objetivo final é implementar a utilização deste kit em escolas e associações desportivas juvenis, incentivando a um rastreio desde cedo na vida das pessoas, permitindo uma diminuição da probabilidade do aparecimento de distúrbios musculoesqueléticos ou a progressão destes para um estado crónico na vida adulta.Musculoskeletal problems and disorders such as low back pain, neck pain and scoliosis are a frequent factor that disturbs quality of life and work activity with high direct and indirect costs. In 2019, 37.3% of the Portuguese population reported suffering from low back pain or other chronic problems associated with back pain, and 27.1% reported having cervical pain or other chronic problems associated with neck pain. However, with early detection during childhood and adolescence, it might be possible to reduce its incidence and impact. From an early age, children and adolescents are exposed to risk factors that can lead to the development of such musculoskeletal disorders. Some of those risk factors include being female, increasing age, physical inactivity or intensive physical exercise, the weight and type of backpack used at school, and postural behaviors, such as the posture adopted while sitting in the classroom or watching TV or playing video games, or the cervical flexion posture when using the cell phone. To minimize the impact of those factors, it is important to raise the population's awareness of musculoskeletal problems, for example through campaigns that promote healthy behaviors, or implementing routine medical evaluations in schools for an early detection of musculoskeletal disorders. Nowadays, there are several methods of postural assessment and multidisciplinary pain treatment programs, however most are accessible only to health professionals in high cost clinical environment. Recently, mobile applications started to appear on the market, which include multidisciplinary pain treatment and analyzes a person's posture. The aim of this dissertation is to improve a software developed by students of the Integrated Master in Biomedical and Biophysics at FCUL, and later to test its performance and validate the results obtained using a non-pathological population. In a last step, we will analyze the performance of classifiers with the acquired data. This software processes images from 4 different views of the patient (anterior, posterior, left and right lateral views), while the patient uses different markers at specific anatomical locations to obtain a risk indicator value for possible musculoskeletal problems and disorders. The methodology of this project was divided into four phases. First, with physiotherapy specialists and based on scientific literature, we select the markers and body metrics to be used in the postural assessment, resulting in 29 markers and 38 parameters. Then, we modified the software to include the calculation of these parameters. We also used a rectangle of known length to obtain the scale of the image and a string with a weight at the end to get the vertical line to the floor. Furthermore, we modified the way for detecting the markers by the software, making possible to detect them in images from different types of cameras, using the blob detection method. In the second phase, we evaluated the software’s performance and run calibration tests. We analyzed the use of markers of different colors and sizes to understand which ones were the most suitable. The different markers were placed on 4 subjects of different heights and volumes while wearing clothes with different colors. We choose the green markers with a diameter of 20 mm, and we defined blue for the rectangle to obtain the image scale, and red for the string to set the vertical line to the ground. Afterwards, we assessed the software's ability to detect the green markers, the blue rectangle and the red string using different background colors and with two different camera types. Of the backgrounds used, it was possible to detect the markers and the rectangle in all of them, except that, the red string was not detected in the red background. In the calibration tests, we verified the influence of the use or not of flash, the variation of the distance from the camera to the markers, the variation of the camera height and of the type of camera used. We concluded that the use of flash had the least influence in the results and in general there was a greater variation in the values obtained when using a photographic camera compared to a cell phone. Also, the anatomical parameters calculated using the red string had a greater variation than when using the blue rectangle. The red string was placed on a different plane from the markers leading to more pronounced parallax errors. Even placing the rectangle next to the markers, the parallax errors were not fully corrected, because the dress form has volume, so the markers are not all at the same plane. In a third phase, we acquired data from a study population composed of students from the Escola Superior de Saúde da Cruz Vermelha Portuguesa - Lisboa. To validate the results obtained, the images captured from each participant were analyzed with our software and with a commercial clinical software for postural analysis, the software TemploÒ in the system Contemplas, GMHB. The data from both software were compared using hypothesis tests of comparison of means and equivalence tests of means. For most anatomical parameters, we observed with the statistical test of comparison of means that the differences between means were not significant, and in the equivalence tests we obtained a value of the differences in the means between -0.05 and 0.05, both for a confidence level of 95%. Based on the postural assessment performed by clinical software and by physiotherapy specialists, we considered a population composed of 16 subjects with no evidence of postural problems, 25 subjects with mild evidence and 16 subjects with moderate to severe evidence. With the data collected, we evaluated the performance of classifiers by implementing the Linear Discriminant Analysis and k Nearest Neighbors models, each with the train/test split validation method and the 10-fold cross validation method. Initially, we considered a multiclass classification, and later a two-level binary classification. The first level classifies the subjects between with and without evidence of postural problems, the second level divides the subjects with evidence into with mild evidence and with moderate to strong evidence. In general, the binary classification presented better values than the multiclass one. At both levels of binary classification, the f1-score values were higher for the classes with a greater number of subjects, probably due to more data to train the classifier. Additionally, we obtained higher values using the train/test split validation method than using the 10-fold cross-validation method. This can be explained by the fact that each fold has a maximum of 6 participants, leading to an inefficient distribution of data. In future projects, it is necessary to improve the method to correct the parallax errors inherent to the images capture. For example, by identifying the vanishing point of the image, and, knowing the field of view or the size of the sensor, reduce the influence of using different types of cameras. Also, it can be tested using a simplified setup, by joining the function of the blue rectangle and the red thread in a single object. Another step is to turn this software, into a mobile application that only stores and processes the results of the patients on a secured server, and automatically deletes the images. In this dissertation, the study population were over 18 years old, however, it is necessary to test the software in a population composed of children and adolescents to start creating a database with reference values adapted to those ages, which are the target audience of the application. In the future, we intend, with this software, to develop an assessment kit that will be a backpack containing inside an adjustable full-body harness with the markers sewn on, the object necessary to obtain the scale from the image and the vertical line to the floor, and marks to be placed on the floor to define the position where the subject and the camera should be. The goal is to implement the use of this kit in schools and sports associations, encouraging a screening from an early age, allowing a decrease in the probability of the musculoskeletal disorders or their progression to a chronic state in adult life